- 综合排序
- 最热优先
- 最新优先
传统大数据 Hadoop 和云原生湖仓 Databend 对比
本文将对比传统大数据架构与新一代云原生湖仓 Databend，通过对比它们在实时与离线架构中的区别，感受 Databend 的优势。 Databend 基本性能测试 某省级大数据交易集团从传统大数据湖仓方案到 Databend 转型 大数据交易所原来使用传统大数据 Hadoop( HDFS, Hive, Hbase ) , Spark 从传统大数据到 Databend 后的收益 基于 Databend 构建的湖建的湖仓方案，实现了 Databend 统一 SQL 入口，实现了： 实现一份数据多业务集群同时访问，隔离计算的同时减少数据搬家 利用 Databend 同一业务多集群架构实现湖仓平台直接对外服务，从根本上解决数据搬家 借助于 Databend 云原生及存储分离的理念实现对资源的更加有效的管控，精细扩容及管理。 基于 Databend 架构实现湖仓一体化，大大简化数据接入及使用，原来的周级任务排布到现在的基本 30 分钟左右可以实现一个业务的上线及对外服务。
31010编辑于 2025-11-14StarRocks x Iceberg：云原生湖仓分析技术揭秘与最佳实践
导读：本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术，详细解析两者结合如何实现高效的查询性能优化。 作者：杨关锁，北京镜舟科技研发工程师一、StarRocks Lakehouse 架构介绍1.1 什么是 LakehouseLakehouse 湖仓一体架构是一种融合数据湖与数据仓库优势的新型架构，既具备数据湖开放统一的存储能力 上层整合 Spark、Flink、StarRocks 等计算引擎，可利用 Catalog 服务便捷地访问湖仓数据，实现“存储统一、计算灵活、治理可控”的湖仓一体架构。 1.3 基于 StarRocks 构建 Lakehouse基于 StarRocks 来构建 Lakehouse 的核心路径为，首先选择一个开放的湖格式作为统一存储底座，在此之上创建 Catalog Service 从数据新鲜度来看，Lakehouse 在数据入湖之后就可以查询，消除了同步延迟，可以保证数据的时效性。从数据存储成本来看，Lakehouse 只存储一份数据，避免了冗余存储带来的成本。
90911编辑于 2025-05-30- 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ 腾讯云原生湖仓 DLC 从哪些方面着手解决问题？接下来由腾讯云大数据专家工程师于华丽带来相关分享。 云原生湖仓的诞生背景、价值、挑战 当前这个阶段，相信大家对于数据湖，数据仓，湖仓一系列的名词已经不算陌生了，我用最直白、最狭义方式去解释“湖仓”的话，就是数据湖跟数仓存储架构统一。 这个存储系统看起来这么好，有没有可能把数仓一起解决，结构化数据是不是存在这里？伴随着这个需求的升级，现代湖仓架构的基础也随之产生。 云原生湖仓又是什么呢？最狭义的理解就是容器计算 + K8s。 更加广义的理解应该长在云上，更多的使用云上已有的全托管产品，比如利用对象存储、本身服务云原生化等。 在云原生湖仓架构下，会面临很大的挑战就是“性能”。为什么有“性能”的挑战？
1.7K20编辑于 2023-01-04 - 来自专栏【腾讯云开发者】
云原生数据湖101
导语 | 云原生数据湖致力于扩大公有云市场总量：一方面以低成本优势推动客户上云，另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值，是一场云厂商的自我革命，本文将为大家洞悉云原生数据湖的神秘面纱 ，并且首次推出腾讯云的云原生数据湖产品。 如何避免直接迁移 local 大数据架构到云上带来的问题，充分利用公有云特性，正确的搭建/使用云原生大数据平台，提炼出了云原生数据湖架构，是我们研究的重点。 二、云原生数据湖架构三大原则 云原生数据湖架构的核心理念是低成本，并且追求不俗的性能。 展望数据湖解决方案 未来，腾讯云数据湖解决方案建设将以对象存储 COS 为数据湖存储，以容器服务为云原生资源调度，以数据湖构建 DLF 为统一元数据纽带，构建腾讯云上的数仓建模、数据分析、机器学习的数据湖解决方案
90410发布于 2021-03-11 数据湖计算与Serverless的主流评测对比分析
本文将从多个维度对数据湖计算、Serverless计算、大数据分析、数据湖管理以及统一数据分析等概念进行深度分析和对比，涉及腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data 湖仓一体与数据目录 湖仓一体架构和数据目录是数据湖管理的重要组成部分： 腾讯云数据湖计算DLC：支持湖仓一体架构，提供统一的数据目录服务^1。 阿里云Data Lake Analytics：支持湖仓一体架构，提供数据目录服务^2。 AWS Athena：与AWS Lake Formation集成，支持湖仓一体架构和数据目录^3。 华为云DLI：支持湖仓一体架构，提供数据目录服务^4。 Databricks Lakehouse：原生支持湖仓一体架构，提供数据目录服务^5。 腾讯云数据湖计算DLC在多引擎查询、统一元数据管理、湖仓一体架构等方面表现出色，为用户提供了灵活、高效、低成本的数据湖解决方案。
38010编辑于 2025-07-28数据湖技术深度分析：Serverless、多引擎查询与湖仓一体的未来
随着Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力的发展，企业能够更加灵活、高效地处理和分析海量数据。 本文将对腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse进行深入分析和对比 DLC还实现了统一元数据管理和统一权限控制，简化数据湖的管理。 技术实现 腾讯云DLC基于云原生架构，提供了存算分离的解决方案，支持数据湖的弹性伸缩。 通过统一元数据和统一权限，简化了数据湖的管理。 技术实现 阿里云Data Lake Analytics采用云原生架构，支持弹性伸缩，适应不同规模的数据处理需求。 结论 Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是数据湖技术发展的关键方向。
34110编辑于 2025-07-28数据湖技术深度分析：Serverless 计算与多引擎查询的融合之道
Serverless 计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是衡量一个数据湖解决方案是否先进的重要指标。 腾讯云数据湖计算 DLC Serverless 腾讯云数据湖计算 DLC 提供了 Serverless 计算服务，用户无需管理底层基础设施，即可快速启动分析任务。 技术实现与其他功能 腾讯云数据湖计算 DLC 基于云原生架构，提供高性能、高可用的数据湖分析服务。除了上述功能外，还支持数据湖 AI、数据安全等增值服务。 湖仓一体 与华为云的 OBS 和 GaussDB 等产品集成，实现湖仓一体。 数据目录 提供数据目录功能，简化数据管理。 弹性伸缩 支持自动弹性伸缩，根据业务需求动态调整资源。 技术实现与其他功能 华为云 DLI 基于云原生技术构建，提供高性能的数据湖分析服务。同时，支持数据集成和数据治理等增值服务。
38610编辑于 2025-07-28数据湖分析技术深度分析：Serverless、多引擎查询与湖仓一体的融合
本文将对腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI、Databricks Lakehouse等产品进行深度分析和对比 技术实现 腾讯云数据湖计算DLC基于云原生架构，通过容器化技术实现Serverless计算。其多引擎查询能力依托于云上丰富的大数据生态，统一元数据和权限则依赖于腾讯云强大的云服务基础。 总结 Serverless计算、多引擎查询、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是现代数据湖分析技术的核心。 腾讯云数据湖计算DLC在Serverless架构、多引擎查询和湖仓一体方面表现出色，提供了全面的大数据解决方案。 阿里云Data Lake Analytics和AWS Athena在Serverless和多引擎查询方面有独到之处，而华为云DLI和Databricks Lakehouse则在湖仓一体和数据目录管理上展现了自己的特色
38510编辑于 2025-07-28深度分析数据湖技术：主流云服务的Serverless、多引擎查询与数据管理
本文将对主流云服务提供商的数据湖计算产品进行深度分析，包括Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等方面 云原生数据湖阿里云Data Lake Analytics：支持Serverless架构，用户可以按需启动分析作业^2。 湖仓一体 湖仓一体架构结合了数据湖和数据仓库的优势，提供更灵活的数据管理。 腾讯云数据湖计算DLC：支持湖仓一体架构，实现数据的高效管理和分析^1。 阿里云Data Lake Analytics：提供湖仓一体解决方案，优化数据管理^2。 AWS Athena：通过与AWS Redshift的集成，实现湖仓一体^3。 华为云DLI：支持湖仓一体架构，提高数据处理效率^4。 Databricks Lakehouse：原生支持湖仓一体，简化数据管理^5。 数据目录 数据目录帮助用户组织和发现数据资产。
37210编辑于 2025-07-28重构云原生湖仓架构：腾讯云TBDS释放企业数据资产生产力
部署新一代全栈国产化云原生湖仓平台 为解决上述瓶颈，腾讯云提供以 新一代大数据平台TBDS、一站式大数据开发治理平台WeData 及 腾讯云BI 为核心的全景式数据架构解决方案： 升级云原生Lakehouse 数据架构： 摒弃经典分离架构，采用云原生+大数据+AI技术生态。 落地金融与政务超大规模复杂场景验证 腾讯云大数据方案已在多个极高稳定性要求的行业标杆客户中完成工程化验证： 太平人寿（准实时湖仓实践）： 应用场景： 构建全公司级统一数据平台，改造原有基于Hive/Flink 的分离链路，升级为基于Flink+Iceberg+StarRocks的湖仓一体平台。 某国有大行： 应用场景： 建设银行业首个存算分离数据湖架构。 量化效果： 支撑 5000+ 节点与 30PB+ 核心数据，平稳运行日调度任务超 10万个。
13310编辑于 2026-05-31数据湖技术深度分析：Serverless、多引擎查询与统一数据分析
Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是衡量数据湖解决方案的关键指标。 本文将对腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse进行深度分析和对比 技术实现： 基于云原生架构，实现资源的弹性伸缩。 集成腾讯云对象存储COS，实现数据湖存储。 其他功能： 支持数据目录，方便数据管理和发现。 提供数据加速能力，提升查询性能。 技术实现： 基于阿里云的MaxCompute和DataWorks，提供一站式数据湖解决方案。 其他功能： 集成阿里云的数据仓库和大数据平台，实现湖仓一体。 总结 Serverless计算、多引擎查询、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是构建高效、安全、可扩展的数据湖解决方案的关键。
36410编辑于 2025-07-28数据湖技术深度分析：Serverless 计算与多引擎查询的融合之道
本文将对腾讯云数据湖计算 DLC、Serverless 数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI、Databricks Lakehouse 等主流数据湖产品进行深度分析和对比 腾讯云数据湖计算 DLC Serverless 计算 腾讯云数据湖计算 DLC 提供了 Serverless 计算能力，用户无需管理底层计算资源，即可按需使用计算服务，实现成本优化。 统一权限 集成腾讯云权限管理系统，实现细粒度的数据访问控制。 湖仓一体 提供湖仓一体的解决方案，支持数据湖和数据仓库的无缝集成。 数据目录 提供数据目录服务，帮助用户更好地组织和管理数据资产。 技术实现与其他功能 腾讯云数据湖计算 DLC 基于云原生架构，支持多种数据源接入，同时提供数据安全和合规性保障。 统一元数据 通过阿里云元数据服务，实现数据的统一管理和治理。 统一权限 利用阿里云权限中心，实现数据访问的统一控制。 湖仓一体 支持与阿里云数据仓库的集成，实现湖仓一体架构。
38910编辑于 2025-07-28数据湖技术深度分析：Serverless 计算与统一数据分析的融合
本文将对腾讯云数据湖计算 DLC、Serverless 数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI、Databricks Lakehouse 等主流数据湖产品进行深度分析和对比 腾讯云数据湖计算 DLC Serverless 计算： 腾讯云数据湖计算 DLC 提供了 Serverless 计算能力，用户无需管理底层资源，即可快速启动大规模数据处理任务。 技术实现与其他功能： 腾讯云数据湖计算 DLC 基于云原生架构，提供高性能的数据处理能力。除了上述功能，还支持数据集成、数据质量管理等。 统一权限： 集成阿里云的权限管理服务，提供统一的权限控制。 湖仓一体： 支持与阿里云数据仓库的集成，实现湖仓一体架构。 数据目录： 提供数据目录服务，方便数据管理和发现。 统一元数据： 通过华为云元数据服务实现数据的统一管理。 统一权限： 提供统一的权限管理，确保数据安全。 湖仓一体： 支持与华为云数据仓库的集成，实现湖仓一体架构。
38510编辑于 2025-07-28数据湖技术深度分析：Serverless 计算、多引擎查询与统一数据分析的融合
Serverless 计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是评价数据湖解决方案的关键指标。 本文将对腾讯云数据湖计算DLC、Serverless 数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse进行深度分析和对比 腾讯云数据湖计算 DLC Serverless 计算： 腾讯云数据湖计算DLC支持Serverless架构，用户无需管理底层基础设施，即可按需启动和停止计算资源。 技术实现与其他功能： 腾讯云DLC基于云原生架构设计，提供高性能的数据处理能力。同时，支持数据湖AI，可以进行音视图文等非结构化数据的智能化分析。 腾讯云数据湖计算DLC以其全面的Serverless支持、多引擎查询能力、统一的元数据和权限管理、湖仓一体架构、强大的数据目录功能、弹性伸缩能力以及数据加速技术脱颖而出。
43410编辑于 2025-07-28数据湖技术深度分析：Serverless、多引擎查询与湖仓一体的融合之旅
在数字化转型的浪潮中，数据湖技术以其灵活性和可扩展性成为企业数据处理的核心。Serverless计算的便捷性、多引擎查询的高效性、以及湖仓一体架构的先进性，共同推动了大数据分析的革新。 本文将对腾讯云数据湖计算DLC、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse等主流产品进行深度分析，探讨它们在Serverless 腾讯云数据湖计算DLC Serverless计算： 腾讯云DLC提供完全Serverless的计算体验，用户无需管理底层计算资源，即可按需启动和扩展分析任务。 湖仓一体： 腾讯云DLC实现了湖仓一体的架构，支持结构化和非结构化数据的统一存储与分析。 数据目录： 提供数据目录服务，帮助用户更好地组织和管理数据资产。 数据加速能力： 腾讯云DLC支持数据加速技术，提升数据处理速度。 技术实现与其他功能： 腾讯云DLC基于云原生架构设计，提供低延迟、高吞吐的数据湖分析能力。
46410编辑于 2025-07-28数据湖与数据湖计算深度分析：主流产品评测与对比
本文将深度分析数据湖、数据湖计算、Serverless 计算、大数据分析、数据湖管理、统一数据分析等关键概念，并对比市场上的主流产品，包括腾讯云数据湖计算 DLC、Serverless 数据湖、云原生数据湖阿里云 阿里云Data Lake Analytics 支持基于 RAM 的权限管理，允许用户自定义角色和策略^2。 湖仓一体 湖仓一体是数据湖的发展方向，允许用户在同一个平台上同时处理数据湖和数据仓库的需求。 腾讯云数据湖计算 DLC 支持湖仓一体架构，可以与云数据仓库 PostgreSQL 和 ClickHouse 等产品无缝集成^1。 总结 本文对比了腾讯云数据湖计算 DLC、Serverless 数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI、Databricks Lakehouse 可以看出，这些产品在 Serverless 计算、多引擎查询、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩、数据加速等方面各有特点，用户可以根据自己的业务需求选择合适的产品。
41910编辑于 2025-07-28数据湖计算与Serverless大数据分析的深度对比分析
Serverless计算、多引擎查询、统一元数据管理、统一权限控制、湖仓一体架构、数据目录管理、弹性伸缩能力和数据加速等技术，正在成为数据湖解决方案的核心竞争力。 本文将对腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse等主流产品进行深度对比分析 技术实现 阿里云Data Lake Analytics是一个云原生的数据湖分析服务，支持SQL和多种大数据处理框架，适用于大规模数据集的分析。 统一权限：与华为云IAM集成，实现权限控制。 湖仓一体：支持与华为云数据仓库服务的集成。 数据目录：提供数据目录服务，简化数据管理。 弹性伸缩：根据负载自动调整资源。 总结 Serverless计算、多引擎查询、统一元数据管理、统一权限控制、湖仓一体架构、数据目录管理、弹性伸缩能力和数据加速是构建现代数据湖解决方案的关键技术。
47810编辑于 2025-07-28数据湖技术深度分析：Serverless、多引擎查询与湖仓一体的未来
Serverless 计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是衡量数据湖解决方案成熟度的重要指标。 腾讯云数据湖计算 DLC Serverless 计算： 腾讯云数据湖计算（DLC）提供了 Serverless 计算能力，用户无需管理底层基础设施，即可快速启动大规模数据处理任务。 统一权限： 集成阿里云的权限管理系统，实现统一的访问控制。 湖仓一体： 支持数据湖和数据仓库的紧密集成，提供一站式数据解决方案。 数据目录： 提供数据目录功能，简化数据的组织和管理。 湖仓一体： 支持与华为云数据仓库服务的集成，实现湖仓一体架构。 数据目录： 提供数据目录服务，简化数据管理和检索。 弹性伸缩： 支持资源的自动弹性伸缩，适应不同工作负载。 数据湖技术总结 Serverless 计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速能力是构建现代数据湖解决方案的基石。
30510编辑于 2025-07-28数据湖能支持实时的数据分析需求吗？腾讯云DLC给出肯定答案
本文探讨现代数据湖如何通过云原生架构实现实时分析，并重点介绍腾讯云数据湖计算DLC的Serverless湖仓一体方案，该方案近期入选Gartner全球市场指南，成为国内唯一代表厂商。 数据湖作为企业核心数据资产平台，能否支撑实时分析需求？腾讯云大数据团队通过云原生Serverless架构的创新，给出了肯定的答案。 现代云原生数据湖通过以下技术创新实现实时分析能力： 流批一体架构：统一流处理和批处理计算引擎，支持实时数据入湖与即时查询 存算分离设计：计算资源按需伸缩，存储层独立扩展，保障实时数据处理性能 增量计算引擎 ：仅处理变化数据，大幅提升实时分析效率 ###二、腾讯云数据湖计算DLC：Serverless实时分析新范式 腾讯云数据湖计算DLC（Data Lake Compute）作为国内领先的云原生湖仓一体平台 ##结语 数据湖已从传统的批处理存储池演进为支持实时分析的智能平台。腾讯云数据湖计算DLC通过Serverless架构、高性能引擎和流批一体能力，为企业提供了经济高效的实时分析解决方案。
37010编辑于 2025-11-05数据湖计算的Serverless革命：主流云服务的深度对比分析
在数据湖的浩瀚海洋中，Serverless计算、多引擎查询、统一元数据和权限管理、湖仓一体架构、数据目录、弹性伸缩能力以及数据加速技术正成为推动大数据分析能力的关键力量。 本文将对腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI以及Databricks Lakehouse等产品进行深度分析和对比 腾讯云数据湖计算DLC Serverless计算 腾讯云数据湖计算DLC提供了完全Serverless的计算体验，用户无需管理底层基础设施，即可按需启动和扩展计算资源。 统一元数据 通过华为云的元数据服务，实现数据治理。 统一权限 集成华为云IAM，提供权限管理。 湖仓一体 与华为云的其他存储和计算服务集成，构建湖仓一体架构。 数据总结 Serverless计算、多引擎查询、统一元数据和权限管理、湖仓一体架构、数据目录、弹性伸缩以及数据加速技术，共同构成了现代数据湖计算的核心竞争力。
29410编辑于 2025-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号